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^ (57) Abstract: The invention relates to a method for recording a characteristic of at least one object (28, 56, 68). According to the 
^ invention, a) luminous radiation that is influenced by the object (28, 56, 68) is fed to an image sensor (6), b) at least two different 
O P 3 * 1 * 1 images (32, 34, 36, 48, 78, 90, 94, T lf T 2 ) consisting of pixels (26) are read out in succession from the image sensor (A n , 
A 12 , A 13 , A 2 i) and values assigned to the pixels (26) are fed to an evaluation unit (10), c) the respective characteristic (E n , E 12 , Ei 3 , 
Q ^2i) of me object is determined from the values that are assigned to a partial image (32, 34, 36, 48, 78, 90, 94, T u T 2 ), d) the partial 
J"^ images (32, 34, 36, 48, 78, 90, 94, T lf T 2 ) are combined to form a total image (38), which is output for further processing. 

[Fortsetzung auf der ndchsten Seite] 



W<#)04/049258 Al lllllllllllllllllllllllttlllllllllllllllllll 



(84) Bcstimmungsstaaten (regional): ARIPO-Patent (BW, 
GH, GM, KE, LS, MW, MZ, SD, SL, SZ, TZ, UG, ZM, 
ZW), eurasisches Patent (AM, AZ, BY, KG, KZ, MD, RU, 
TJ, TM), europaisches Patent (AT, BE, BG, CH, CY, CZ, 
DE, DK, EE, ES, FI, FR, GB, GR, HU, IE, IT, LU, MC, 
NL, PT, RO, SE, SI, SK, TR), OAPI-Patent (BF, BJ, CF, 
CG, CI, CM, GA, GN, GQ, GW, ML, MR, NE, SN, TD, 
TG). 

Veroffentlicht: 

— mit internationalem Recherchenbericht 



vor Ablauf der fur Anderungen der Anspruche geltenden 
Frist; Veroffentlichung wird wiederholt, falls Anderungen 
eintreffen 

Zur Erklarung der Zweibuchstaben- Codes und der anderen Ab- 
kiirzungen wird auf die Erklarungen ("Guidance Notes on Co- 
des and Abbreviations") am Anfang jeder reguldren Ausgabe der 
PCT-Gazette verwiesen. 



(57) Zusammenfassung: Die Erfindung geht aus von einem Verfahren zum Erfassen einer Eigenschaft mindestens eines Gegen- 
stands (28, 56, 68,). Es wird vorgeschlagen, dass a) vom Gegenstand (28, 56, 68,) beeinflusste Lichtstrahlung einem Bildsensor 
(6) zugefuzhrt wird, b) mindestens zwei unterschiedliche aus Pixeln (26) bestehende Teilbilder (32, 34, 36, 48, 78, 90, 94, T ls T 2 ) 
nacheinander aus dem Bildsensor ausgelesen (A u , A 12 , A 13 , A 2 i) werden und den Pixeln (26) zugeordnete Werte einer Auswerteein- 
heit (10) zugefuhrt werden, c) aus den Werten, die einem Teilbild (32, 34, 36, 48, 78, 90, 94, T„ T 2 zugeordnet sind, jeweils die 
Eigenschaft des Gegenstands ermittelt (E n , E 12 , E 13 , Bzi) wird, die Teilbilder (32, 34, 36, 48, 78, 90, 94, T^ T^ zu einem Gesamtbild 
(38) zusammengesetzt werden, das zur weiteren Verarbeitung ausgegeben wird. 
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Verfahren zum Erfassen einer E igenschaft mindestens eines Qe- 
genstands 

Stand der Technik 

Die Erfindung gent aus von einem Verfahren zum Erfassen einer 
Eigenschaft mindestens eines Gegenstands. 

Aus der US 5,098,426 ist ein Verfahren zur Durchfvihrung einer 
Laseroperation am menschlichen Auge bekannt, bei dem das Auge 
mit Hilfe von zwei Kameras beobachtet wird. Hierbei ist eine 
Kamera eine Videokamera zur Ausgabe von Videobildern fur ei- 
nen behandelnden Arzt und die zweite Kamera ein Hochgeschwin- 
digkeits-Arraysensor, der zur schnellen Positionierung des 
Lasers vorgesehen ist. Der apparative Aufbau zum Erfassen der 
Position des Auges, der sowohl eine schnelle Verfolgung des 
Auges als auch eine visuelle Uberwachung durch den behandeln- 
den Arzt zulasst, ist hierbei recht hoch. 

Es ist daher die Aufgabe der Erfindung, ein Verfahren zum 
schnellen Erfassen einer Eigenschaft eines Gegenstands und 
zur Uberwachung des Gegenstands anzugeben, das mit einer re- 
lativ einfachen Apparatur durchgefuhrt werden kann. 
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Diese Aufgabe wird durch ein Verfahren zum Erfassen einer Ei- 
genschaft mindestens eines Gegenstands gelost, bei dem erf in- 
dungsgemaS 

5 a. vom Gegenstand beeinf lusste Lichtstrahlung einem Bildsen- 
sor zugefiihrt wird, 

b. mindestens zwei unterschiedliche aus Pixeln bestehende 
Teilbilder nacheinander aus dem Bildsensor ausgelesen 
werden und den Pixeln zugeordnete Werte einer Auswerte- 

10 einheit zugeftihrt werden, 

c. aus den Werten, die einem Teilbild zugeordnet sind, je- 
weils die Eigenschaft des Gegenstands ermittelt wird, 

d. die Teilbilder zu einem Gesamtbild zusammengesetzt wer- 
den, das zur weiteren Verarbeitung ausgegeben wird. 

15 

Mit diesem Verfahren kann anhand nur eines einzigen Bildsen- 
sors eine Eigenschaft des Gegenstands, beispielsweise die Po- 
sition oder Geschwindigkeit des Gegenstands, sehr schnell, 
also sehr zeitnahe, erfasst werden, wobei gleichzeitig eine 

20 beispielsweise visuelle Uberwachung des Gegenstands ermog- 

licht wird. Der Bildsensor kann hierbei ein preiswerter, han- 
delstiblicher und in der Videotechnik gebrauchlicher Bildsen- 
sor sein. Es ist jedoch auch moglich, einen Hochgeschwindig- 
keitsarraysensor zu verwenden. Es sollte lediglich die Ausle- 

25 se-Sequenz des Bildsensors frei oder im Wesentlichen frei 

steuerbar sein. Eine Vorrichtung zur Durchfuhrung des Verfah- 
rens ist beispielsweise aus der WO 02/25934 A2 bekannt. 



30 



Bei der Ermittlung einer Eigenschaft des Gegenstands ist es 
vorteilhaft, die Eigenschaft in einer moglichst schnellen 
Zeitfolge wiederholt ermitteln zu konnen. Eine schnelle Er- 
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fassung der Eigenschaft kann erreicht werden, indem die Ei- 
genschaft aus einem relativ kleinen Teilbild ermittelt wird, 
das schnell ausgelesen und ausgewertet werden kann, Ein sol- 
ches Teilbild enthalt jedoch nicht die Information, die zu 
5 einer beispielsweise visuellen Uberwachung des Gegenstands 

notwendig ist. Diese Information ist in einem Gesamtbild ent- 
halten. Durch die Erfindung wird ermoglicht, mit Bildern aus 
nur einem Bildsensor eine schnelle Erfassung einer Eigen- 
schaft des Gegenstands in Kombination mit einem hoch auflo- 
10 senden Gesamtbild zu erhalten. Es ist naturlich auch moglich, 
mehrere Eigenschaf ten gleichzeitig oder hintereinander zu er- 
mitteln. 

Die dem Bildsensor zugefuhrte Lichtstrahlung ist iiblicherwei- 

15 se sichtbares Licht. Es ist auch moglich, dem Bildsensor In- 
frarotstrahlung oder ultraviolette Strahlung zuzufiihren. Die 
Art der den Pixeln zugeordneten Werte ist abhangig von der 
Art des Bildsensors. Die Werte konnen Ladungswerte oder Span- 
nungswerte sein. Es ist auch moglich, dass Werte von Pixeln 

20 der Teilbilder bereits wahrend einer Integration bzw. Belich- 
tung ausgelesen oder uberwacht werden, ohne dass die Werte in 
erheblichem Umfang davon beeinflusst werden. Hierdurch kann 
ein Gesamtbild mit einer hohen Intensitat erreicht werden. 
AuJSerdem kann die Belichtung an ein gutes Verhaltnis von Si- 

25 gnal zu Rauschen angepasst werden. Die aus Pixeln bestehenden 
Teilbilder konnen die gleiche Anzahl oder unterschiedliche 
Anzahlen von Pixeln aufweisen. AuSerdem konnen die Pixel der 
Teilbilder auf dem Bildsensor zusammengef asst werden ("on- 
chip pixel binning"). Neben einer sofortigen Reduzierung der 

3 0 Datenmenge bietet diese Vorgehensweise den Vorteil eines im 
Verhaltnis zum Signal niedrigen Rauschens . 
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Die Form, die GroSe und die Lage der Teilbilder innerhalb des 
Gesamtbilds sind zweckmaSigerweise frei wahlbar. Die Ausgabe 
des Gesamtbilds erfolgt zur weiteren Verarbeitung . Die Verar- 
beitung kann beispielsweise durch die Ausgabe des Gesamtbilds 
auf einen Bildschirm erfolgen. Es ist auch moglich, das Ge- 
samtbild dahingehend zu verarbeiten, dass nur Telle des Ge- 
samtbilds beispielsweise auf dem Bildschirm ausgegeben wer- 
den. Ebenso kann das Gesamtbild in einer anderen Weise verar- 
beitet werden, wobei es beispielsweise abgespeichert wird 
Oder nur Vergleiche von Gesamtbildem ausgegeben oder aus dem 
Gesamtbild gewonnene andere Ergebnisse weiter- oder ausgege- 
ben werden. Ein Teilbild umfasst eine Anzahl von Pixeln, die 
kleiner ist als die Gesamtzahl der Pixel des Bildsensors. Die 
Anordnung der Pixel ist beliebig. 

Eine besonders schnelle mehrfach hintereinander folgende Er- 
mittlung der Eigenschaf ten des Gegenstands wird erreicht, la- 
ta das Ermitteln der Eigenschaf ten aus Werten eines Teil- 
bilds und das Auslesen eines folgenden Teilbilds zumindest 
teilweise gleichzeitig erfolgt. Es konnen die Werte nach dem 
Auslesen des ersten Teilbilds der Answer teeinheit zugefuhrt 
werden, die daraus in einem folgenden Schritt die Eigenschaft 
des Gegenstands ermittelt. Wahrend die Answer teeinheit an der 
Ermittlung der Eigenschaft arbeitet, werden aus dem Bildsen- 
sor die Werte eines zweiten Teilbilds ausgelesen. Das Ausle- 
sen und das Auswerten sollte hierbei zumindest teilweise 
gleichzeitig erfolgen, so dass die beiden Prozesse zu zumin- 
dest einem Zeitpunkt gleichzeitig erfolgen. 

Vorteilhafterweise iiberdecken sich die Teilbilder nicht . 
Hierdurch kOnnen die Teilbilder schnell zu einem vollstandi- 
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gen und liickenlosen Gesamtbild guter Auflosung zusammenge- 
setzt werden. Aufierdem sind die Teilbilder zweckmafcigerweise 
so angeordnet, dass bei einem spateren Zusammensetzen der 
Teilbilder zu einem Gesamtbild alle ortlichen Bereiche des 
5 Gesamtbilds durch Teilbilder abgedeckt sind. Hierdurch wird 

ein vollstandiges, visuell leicht auswertbares Gesamtbild er- 
reicht. Alternativ ist es auch moglich, dass das Gesamtbild 
aus nicht alle ortlichen Bereiche abdeckenden Teilbildern zu- 
sammengesetzt ist. Die nicht abgedeckten Bereiche konnen in- 
10 terpoliert Oder extrapoliert werden. Hierdurch kann aus weni- 
gen oder kleinen Teilbildern ein Gesamtbild zusammengesetzt 
werden . 

Zur Erreichung einer moglichst genauen Erfassung einer Eigen- 
15 schaft des Gegenstands ist es vorteilhaft, wenn die Teilbil- 
der aus mindestens zwei nicht zusammenhangenden Pixelberei- 
chen zusammengesetzt sind. Die Pixelbereiche umfassen jeweils 
mindestens drei Pixel und stoSen nirgendwo aneinander. Zur 
Erfassung der Eigenschaft kann es ausreichen, wenn der Gegen- 
20 stand nicht vollstandig durch ein Teilbild abgedeckt wird, 
sondern durch das Teilbild nur Ausschnitte des Gegenstands 
erfasst werden. Hierdurch kann die Anzahl der Pixel eines 
Teilbilds gering gehalten und das Auslesen und Auswerten der 
Pixelwerte sehr schnell durchgefiihrt werden. Die nicht zusam- 
25 menhangenden Pixelbereiche sind zweckmaSigerweise so positio- 
niert, dass durch sie Bereiche des Gegenstands erfasst wer- 
den, aus denen ein Riickschluss auf die Eigenschaft des Gegen- 
stands moglich ist. 

30 Eine besonders einfach zu steuernde Auslese-Sequenz der Teil- 
bilder wird erreicht, indem die Teilbilder jeweils aus einer 



WO 2004/049258 




|CT7EP2003/012612 



Anzahl von vollstandig ausgelesenen Pixelzeilen des Bildsen- 
sors zusammengesetzt werden. Die Teilbilder iiberdecken hier- 
bei die Lange oder die Breite des Pixelfelds des Bildsensors 
vollstandig. Sie sind jedoch auf nur einen Teil der Pixelzei- 
5 len des Pixelfelds beschrankt. 

Ein besonders schnelles Auslesen und Verarbeiten der Teilbil- 
der kann erreicht werden, indem die Teilbilder jeweils aus 
einer Anzahl von nur teilweise ausgelesenen Pixelzeilen des 

10 Bildsensors zusammengesetzt werden. Zur Erfassung eines Ge- 
genstands, der beispielsweise nur einen geringen Ausschnitt 
des Pixelfelds des Bildsensors uberdeckt, ist es nicht not- 
wendig, die gesamte Lange oder Breite des Pixelfelds durch 
die Teilbilder abzudecken. Die ausgelesenen Pixelzeilen iiber- 

15 decken dann vorteilhaf terweise nur den fur die Ermittlung der 
Eigenschaft wichtigen oder zweckmafeigen Bereich. Hierdurch 
kann die Pixelanzahl der Teilbilder gering gehalten werden 
und das Auslesen und Auswerten kann schnell erfolgen. 

20 In einer vorteilhaf ten Aus fuhrungs form der Erfindung sind die 
Pixelzeilen eines Teilbilds jeweils durch eine vorgegebene 
Anzahl nicht auszulesender Pixelzeilen voneinander beabstan- 
det. Eine Eigenschaft des Gegenstands, wie beispielsweise 
seine Position, GroSe, Form oder Bewegungsgeschwindigkeit , 

25 kann auf diese Weise mit nur einer geringen Anzahl von Pixeln 
erfasst werden. Das Teilbild kann den Gegenstand vollstandig 
tiberdecken, ohne dass jedes den Gegenstand abbildende Pixel 
ausgelesen werden muss. Die vorgegebene Anzahl nicht auszule- 
sender Pixelzeilen kann so bestimmt sein, dass sie fur alle 

3 0 Zeilenzwischenraume gleich ist. Zwischen den auszulesenden 

Pixelzeilen sind somit immer dieselbe Anzahl von nicht auszu- 
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lesenden Pixelzeilen angeordnet . Es wird eine gleichmafiig 
dichte Uberdeickung des ausgesuchten Bereichs durch das Teil- 
bild erreicht. Es ist jedoch auch moglich, die auszulesenden 
Pixelzeilen durch verschiedene Anzahlen von nicht auszulesen- 
5 den Pixelzeilen beabstandet auszuwahlen. Die Lage der auszu- 
lesenden Pixelzeilen kann hierbei auf eine moglichst effekti- 
ve Ermittlung der gewunschten Eigenschaft des Gegenstands 
ausgerichtet werden. 

10 In einer weiteren vorteilhaf ten Ausgestaltung der Erfindung 

wird die Auslese-Sequenz eines auf ein erstes Teilbild abfol- 
gend ausgelesenen zweiten Teilbilds um eine Pixelzeile zum 
ersten Teilbild versetzt. Die Auslese-Sequenz ist hierbei be- 
sonders einfach. AuSerdem wird, insbesondere bei einer regel- 

15 maSigen Anordnung der ausgelesenen Pixelzeilen, eine schnelle 
und einfache Erzeugung eines vollstandigen Gesamtbilds durch 
die Teilbilder erreicht. 

Bei einem Auslesen der Teilbilder in einer solchen Zeit, dass 
2 0 mindestes zehn Gesamtbilder pro Sekunde ausgegeben werden 

kdnnen, kann bei einer visuellen Ausgabe der Gesamtbilder ei- 
ne ruckelarme Darstellung der Bewegung des Gegenstands er- 
reicht werden. Bei einer vorteilhaf ten Zusammensetzung eines 
Gesamtbilds aus mindestens zehn Teilbildern werden somit min- 
25 destens 100 Teilbilder pro Sekunde ausgelesen. ZweckmaSiger- 
weise werden mindestens 25 Gesamtbilder pro Sekunde ausgege- 
ben, damit eine flimmerarme Darstellung der Gesamtbilder er- 
reicht werden kann. 

30 Vorteilhaf terweise besteht ein Teilbild nur aus so vielen Pi- 
xeln, dass das Auslesen eines Teilbilds und das Ermitteln der 
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Eigenschaft jeweils innerhalb von 10 Millisekunden erfolgen 
kann. Die Anzahl der Pixel, die ein Teilbild maximal umfassen 
kann, hangt somit von der Verarbeitungsgeschwindigkeit der 
das Verfahren durchfuhrenden Vorrichtung ab. Es wird eine 
5 hinreichend schnelle wiederholte Ermittlung der Eigenschaft 

erreicht, um ein Gerat, beispielsweise ein Laseroperationsge- 
rat zur Behandlung eines menschlichen Auges, schnell genug an 
die Bewegung eines Gegenstands anpassen zu konnen. 

10 Besonders vorteilhafte Anwendungen des Verfahrens werden er- 
reicht, wenn als Eigenschaft mindestens ein Parameter des Ge- 
genstands aus der Gruppe Position, Abmessung, Form, Verande- 
rung der Form, Bewegungsgeschwindigkeit , Farbe, Helligkeit, 
Lichtref lexionsverhalten des Gegenstands ermittelt wird. Je 

15 nach Anwendung des Verfahrens kann ein oder konnen mehrere 

Parameter aus den genannten acht Parametern ermittelt werden, 
wobei bei der Ermittlung mehrerer Parameter die ermittelten 
Ergebnisse ganz generell zu neuen Parametern kombiniert wer- 
den konnen. Die ermittelte Position und Abmessung des Gegen- 

20 stands kann beispielsweise zur Steuerung eines fur medizini- 
sche Zwecke eingesetzten Lasergerats verwendet werden. Die 
Kenntnis der Form und der Veranderung der Form des Gegen- 
stands kann zur Verhaltens- und Zustandsbestimmung sowie zum 
Sortieren, Erkennen oder Aussortieren von Kleinlebewesen, wie 

25 beispielsweise Zellen, Bakterien oder Pilzkulturen, einge- 

setzt werden. Die Position, Abmessung, Form, Veranderung der 
Form und Bewegungsgeschwindigkeit des Gegenstands kann zur 
Steuerung der Auslese-Sequenz eines Teilbilds oder von Teil- 
bildern verwendet werden. Die Teilbilder konnen auf diese 

30 Weise effektiv auf den Gegenstand ausgerichtet und das Ermit- 
teln der Eigenschaft zeitef f izient und hardware-ef f izient 



WO 2004/049258 




ICT7EP2003/012612 



ausgerichtet werden. Das schnelle Erkennen von Farbe und ge- 
gebenenfalls Farbveranderung kann zum Verfolgen und/oder Be- 
einflussen von Gegenstanden genutzt werden. Es konnen sich 
schnell bewegende markierte Lebewesen oder beispielsweise 
5 verfaulte Lebensmittel auf einem Forderband schnell erkannt 
und ggf . aussortiert werden. Die Kenntnis der Helligkeit 
und/oder des Lichtref lexionsverhaltens des Gegenstands kann 
unter anderem bei der Untersuchung von diinnen oder aufwach- 
senden Schichten verwendet werden. Das Verfahren kann hiermit 

10 in physikalischen, biologischen sowie chemischen Prozessen, 

bei der Herstellung oder Analyse von Bio-Chips oder zur Uber- 
wachung von sich schnell verandernden Strukturen eingesetzt 
werden. Unter dem Lichtref lexionsverhalten wird unter anderem 
die Anderung von vom Gegenstand ref lektiertem Licht im Ver- 

15 haltnis zum eingestrahlten Licht verstanden, wie beispiels- 
weise We 1 1 en 1 angen ver s chi ebung , We 1 1 en 1 angenverbre i t erung , 
Lichtstreuung, Ref lexionswinkelveranderung oder Absorptions - 
grad bei der Lichtref lexion . 

20 Der Rechenprozess bei der Erkermung einer Eigenschaft des Ge- 
genstands kann vereinfacht werden, und die Erkennung kann zu- 
verlassig durchgeftihrt werden, indem die Eigenschaft mit Hil- 
fe einer Eigenschaf tsvorgabe ermittelt wird. Unter einer Ei- 
genschaf tsvorgabe wird eine jegliche Vorgabe einer Eigen- 

25 schaft verstanden, die der Gegenstand erfiillen muss. Soli 

beispielsweise als Eigenschaft die Position des Gegenstands 
ermittelt werden, so kann eine Formvorgabe, beispielsweise 
ein Kreis, vorgegeben werden, die der Gegenstand erfiillen 
muss. Aus den Werten, die einem Teilbild zugeordnet sind, 

30 wird somit die Position des Gegenstands, der als ein Kreis 

angenommen wird, ermittelt. Durch diese Vorgabe kann aus ei- 
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ner relativ geringen Anzahl von Werten die Eigenschaft mit 
gro&er Zuverlassigkeit ermittelt werden. Die Anzahl der Werte 
kann gegemiber einem Verfahren ohne Eigenschaf tsvorgabe redu- 
ziert werden, wodurch das Auslesen und Verarbeiten eines 
5 Teilbilds beschleunigt werden kann. 

Eine hohe Flexibilitat und ein hohes Anpassungsvermogen an 
eine gegebene Anwendung kann erreicht werden, indem die Ei- 
genschaf tsvorgabe aus mindestens einer bereits ermittelten 

10 Eigenschaft abgeleitet wird. Bei der Verfolgung von einem 

oder mehreren sich verandernden Gegenstanden kann eine Eigen- 
schaft, wie z.B. eine Form oder ein Formbereich, durch die 
Auswertung eines oder einer Anzahl von Teilbildern ermittelt 
worden sein. Diese Eigenschaft kann als Eigenschaf tsvorgabe 

15 bei der Auswertung von einem oder mehreren folgenden Teilbil- 
dern vorgegeben werden. Hierdurch kann die Eigenschaft aus 
relativ wenigen Pixeln mit hoher Prazision erkannt werden, 
ohne dass die Eigenschaft bei jedem Teilbild vollstandig neu 
ermittelt werden musste. 

20 

Zweckmafiigerweise wird die Auslese-Sequenz eines Teilbilds 
anhand einer aus einem vorhergehenden Teilbild ermittelten 
Eigenschaft des Gegenstands gesteuert. Das Teilbild kann so 
speziell auf den Gegenstand angepasst werden, wodurch auch 
25 mit einem nur wenige Pixel umfassenden Teilbild eine zuver- 
lassige Ermittlung der Eigenschaft erreicht werden kann. In 
der Auslese-Sequenz ist die Auswahl der Pixel eines Teilbilds 
f estgelegt . 

30 In vorteilhaf ter Fortbildung der Erfindung wird mit mindes- 
tens einem aus der Eigenschaft des Gegenstands gewonnenen 
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Wert ein Gerat gesteuert. Es kann eine zuverlassige Verkniip- 
fung zwischen Gegenstand unci Gerat und eine prazise Fuhrung 
des Gerats erreicht werden. Das Gerat kann ein Lasergerat zur 
arztlichen Behandlung eines menschlichen Organs sein. Es ist 
5 auch moglich, dass das Gerat eine Ausrichtungsvorrichtung zur 
Positionierung des Bildsensors oder einer Lichteinstrahlvor- 
richtung relativ zum Gegenstand ist. Der Bildsensor kann so- 
mit in Bezug auf einen sich bewegenden Gegenstand nachjus- 
tiert werden. Ebenso vorteilhaft kann das Gerat eine Licht- 

10 einstrahlungsvorrichtung sein, die beispielsweise Licht auf 
den Gegenstand strahlt, wobei als Eigenschaft die Helligkeit 
des ref lektierten Licht s erkannt werden kann. Es ist auch 
denkbar, dass das Gerat eine Vorrichtung zur Steuerung eines 
elektrischen Parameters ist. Der Parameter kann eine Spannung 

15 sein, die an ein ProbengefaS angelegt wird und durch die sich 
Gegenstande in der Probe bewegen. Durch das schnelle Erkennen 
von Gegenstanden und die gleichzeitige Uberwachungsmoglich- 
keit anhand des Gesamtbilds ist das Verfahren besonders zur 
Steuerung eines Roboters geeignet. Der Roboter kann anhand 

2 0 der Ergebnisse des Verfahrens mit hoher Geschwindigkeit Hand- 
lungen am und urn den Gegenstand durchftihren, wobei durch die 
zusStzliche Uberwachungsf unktion die Sicherheit des Roboters 
gewahrleistet ist. Es ist auch denkbar, dass das Gerat ein 
Klebe- oder SchweiSgerat ist oder eine Sortiervorrichtung zum 

2 5 Sortieren durch Ansteuerung eines Aktuators, wie beispiels- 

weise eines pneumatischen Ventils oder eines Magneten. 

In einer weiteren Ausgestaltung der Erfindung wird ein Gera- 
teparameter in Verbindung mit mindestens einem aus der Eigen- 

3 0 schaft des Gegenstands gewonnenen Wert geregelt. Der GerSte- 

parameter kann beispielsweise die Geschwindigkeit eines sich 
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bewegenden Gegenstands beeinf lussen, wobei die Geschwindig- 
keit im Regelkreislauf anhand einer Vorgabe optimiert wird. 
Es ist auch moglich, die Lichteinstrahlung auf den Gegenstand 
so zu regeln, dass ein moglichst gutes Verf ahrensergebnis 
5 realisiert wird. 

Eine zuverlassige Uberwachung des Gegenstands kann erreicht 
werden, indem die Veranderung der Eigenschaft des Gegenstands 
durch eine Abfolge von Gesamtbildern dargestellt wird. Die 

10 Darstellung kann visuell erfolgen, wobei eine Person den Ge- 
genstand auf einem Bildschirm iiberwacht. Es kann eine in vivo 
oder in vitro Betrachtung von Gewebe bei einer gleichzeitigen 
Bearbeitung oder Beeinf lussung des Gewebes erreicht werden. 
Moglich ist auch eine Beobachtung, Sortierung oder Beeinflus- 

15 sung von Organismen, Zellen oder Lebensf ormen sowie eine Ana- 
lyse einer Korperf lussigkeit . 

Zeichnung 

20 

Weitere Vorteile ergeben sich aus der folgenden Zeichnungsbe- 
schreibung. In der Zeichnung sind Ausfiihrungsbeispiele der 
Erfindung dargestellt. Die Zeichnung, die Beschreibung und 
die Anspriiche enthalten zahlreiche Merkmale in Kombination. 
25 Der Fachmann wird die Merkmale zweckmaSigerweise auch einzeln 
betrachten und zu sinnvollen weiteren Kombinationen zusammen- 
fassen. 



30 
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Es zeigen: 



Fig. 1 eine schematische Darstellung einer Vorrich- 
tung zur Durchfuhrung des erf indungsgemaSen 
Verfahrens, 

Fig, 2 eine Darstellung von drei Teilbildern, die zu 
einem Gesamtbild summiert werden, 



10 



Fig. 3 ein schematisches Diagramm des zeitlichen Ab- 
laufs des Verfahrens, 



15 



Fig. 4 eine schematische Darstellung eines menschli- 
chen Auges mit ermittelten Stutzstellen zur 
Errechnung der Position des Auges, 



Fig. 5 einen schematischen Ablauf einer Verfolgung 
eines Gegenstands, 



20 



Fig. 6 eine Darstellung der Ausrichtung einer Abfolge 
von Gesamtbildern auf einen Gegenstand und 



25 



Fig. 7 eine schematische Darstellung eines Uberwa- 

chungsvorgangs des Wachsens kleiner Strukturen 
auf einem Substrat. 



30 



Figur 1 zeigt in einer schematischen Darstellung eine Vor- 
richtung 2 zur Durchfuhrung des erf indungsgemaSen Verfahrens. 
Die Vorrichtung 2 umfasst eine Einrichtung 4 zur Erzeugung 
von Bildern. In die Einrichtung 4 ist ein Bildsensor 6 inte- 
griert, der als ein CCD-Sensor mit ladungsgekoppelten Bauele- 
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menten ausgefuhrt sein kann. Ebenso ist ein CMOS-Sensor denk- 
bar. Der Bildsensor 6 ist ein handelsublicher Sensor, wie er 
beispielsweise in Videokameras Verwendung findet. Er weist 
die Eigenschaft auf, dass seine Steuerung hinsichtlich des 
Betriebsmodus als auch hinsichtlich der Zeit in so einer Wei- 
se programmierbar ist, dass die Steuerung einzelner Pixel, 
ein Zugriff auf die Pixel und das Verschieben von Ladungen 
bzgl. einzelner Pixel und/oder Zeilen durch eine Signalverar- 
beitungseinheit, einen Host-Rechner und einen Benutzer defi- 
niert werden kann. Dariiber hinaus ist die Auslese-Sequenz , in 
der die einzelnen Pixel des Bildsensors 6 ausgelesen werden 
k6nnen, im Wesentlichen ohne Einschrankung definierbar. Ein- 
schrankungen bilden lediglich die durch die Architektur des 
Bildsensors 6 vorgegebenen zulassigen Grenzen. 

Die den einzelnen Pixeln des Bildsensors 6 zugeordneten elek- 
trischen Ladungen oder analogen Spannungswerte werden einer 
Schaltung 8 zugefiihrt. Die Schaltung 8 ist an die Einrichtung 
4 angepasst und arbeitet digital oder wandelt analoge Signale 
digital um. Die von der Schaltung 8 ausgegebenen Signale wer- 
den an eine Auswerteeinheit 10 weitergegeben . Die Auswerte- 
einheit 10 ist eine Einrichtung zur schnellen Datenverarbei- 
tung, z.B. ein elektronisches DSP-System, und fuhrt Datenver- 
arbeitungsalgorithmen aus . Die Auswerteeinheit 10 zeichnet 
sich dadurch aus, dass sie die Da ten sofort auswerten und An- 
derungen oder Ereignisse schnell erkennen kann. Hierdurch ist 
eine unmittelbare Riickkopplung und Steuerung des Betriebsmo- 
dus des Bildsensors 6 und/oder externen Einheiten 12 mdglich. 
Auswerteergebnisse konnen sofort von der Auswerteeinheit 10 
ausgegeben werden. Die Programmierung, Steuerung und der Be- 
trieb der Vorrichtung 2, beispielsweise von einem Host- 
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Rechner 14 oder einem Benutzer, erfolgt durch eine Kommunika- 
tionseinrichtung 16. Die Kommunikationseinrichtung 16 kann 
Steuer- und Statusinf ormationen, Programmcodes usw. empfan- 
gen, verarbeiten und wieder ausgeben. 

Die Vorrichtung 2 umfasst aufcerdem eine Sensorsteuerung 18. 
Die Sensorsteuerung 18 steuert die Auslese-Sequenz zum Ausle- 
sen des Bildsensors 6. In der Auslese-Sequenz sind diejenigen 
Pixel angegeben, die in einem Auslesevorgang ausgelesen wer- 
den sollen, sowie der Zeitablauf des Auslesens. Die Auslese- 
Sequenz umfasst aufcerdem das Takten, Ldschen, Zugreifen, Aus- 
lesen oder Aufsummieren der einzelnen Pixel und/oder Zeilen, 
wobei ein Auslesen in jeder beliebigen Folge moglich ist. Die 
Auslese-Sequenz kann fur jedes aus dem Bildsensor 6 ausgele- 
senen Teilbild unterschiedlich sein. 

Angeschlossen an die Vorrichtung 2 ist eine Videoausgabe 20, 
in der die von der Auswerteeinheit 10 erzeugten Gesamtbilder 
visuell auf einen Bildschirm ausgegeben werden. Es ist auch 
moglich, dass die Auswerteeinheit 10 Teilbilder an die Video- 
ausgabe 20 weitergibt, die die Teilbilder zu Gesamtbildern 
zusammensetzt. Des Weiteren ist ein Gerat 22 an die Vorrich- 
tung 2 angeschlossen. Es ist auch mSglich mehrere Gerate an- 
zuschlieSen. Das Gerat 22 kann ein Laser zur medizinischen 
Behandlung eines menschlichen Organs sein. Es ist auch mog- 
lich, das Gerat 22 zur Positionierung der Einrichtung 4 vor- 
zusehen oder in dem Gerat 22 die aus der Auswerteeinheit 10 
ermittelten Ergebnisse in sonstiger Weise weiterzuverarbei- 
ten. Eine detaillierte Beschreibung einer Vorrichtung zur 
Durchfuhrung des Verfahrens ist in der WO 02/25934 A2 be- 
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schrieben, wobei der Of f enbarungsgehalt dieser Schrift aus- 
drucklich in diese Figurenbeschreibung mit auf genommen ist. 

Die Vorrichtung 2 ist mit den anhand der folgenden Figuren 
5 beschriebenen Verfahren in der Lage, eine Hochgeschwindig- 

keitsbildverarbeitung, wie z.B. eine Mustererkennung, mit ei- 
ner zugehorigen Echtzeit-ruckgekoppelten Steuerung und einer 
Erzeugung von visuellen Bildern zur Uberwachung eines Vor- 
gangs durchzuf uhren . 

10 

Grundztige des Verfahrens sind in Figur 2 beschrieben. Ein Ge- 
genstand 28 wird so beleuchtet, dass vom Gegenstand 28 re- 
flektiertes Licht auf den Bildsensor 6 auftrifft. Der Bild- 
sensor 6 weist ein Pixelfeld 24 auf, das der Anschaulichkeit 

15 halber aus nur 9x9 Pixeln 26 zusammengesetzt ist. Alle Pixel 
26 des Pixel f elds 24 bilden zusammen den Gegenstand 28 ab. 
Der Bildsensor 6 wird von der Sensorsteuerung 18 so angesteu- 
ert, dass innerhalb eines ersten Zeitintervalls Ati drei Pi- 
xelzeilen 3 0 aus dem Pixelfeld 24 Bildsensors 6 ausgelesen 

20 werden, und zwar die erste Zeile sowie die vierte und siebte 
Zeile. Diese Pixelzeilen 30 sind in Figur 2 schraffiert ge~ 
zeichnet. Das erste Teilbild 32 besteht somit aus drei nicht 
zusammenhangenden Pixelbereichen. Die den einzelnen Pixeln 2 6 
der ausgelesenen Pixelzeilen 30 zugeordneten Werte werden 

25 iiber die Schaltung 8 der Auswerteeinheit 10 zugefiihrt. Die 
drei ausgelesenen Pixelzeilen 30 bilden ein erstes Teilbild 
32. Das Teilbild 32 setzt sich aus den Pixeln 26 zusammen, 
die in drei vollstandig ausgelesenen Pixelzeilen 30 innerhalb 
des Pixelfelds 24 des Bildsensors 6 angeordnet sind. Zwischen 

30 den Pixelzeilen 30 des Teilbilds 32 sind jeweils zwei Pixel- 



WO 2004/049258 ^^CT/EP2W */«>! 2612 

W - 17 - 



zeilen angeordnet, die innerhalb des ersten Zeitintervalls 
Ati nicht ausgelesen werden. 

Innerhalb eines spateren zweiten Zeitintervalls At 2 wird ein 
5 zweites Teilbild 34 aus dem Pixelfeld 24 des Bildsensors 6, 

gesteuert durch die Sensorsteuerung 8, ausgelesen. Das zweite 
Teilbild 34 ist wiederum aus drei Pixelzeilen 30 zusammenge- 
setzt, die ebenfalls durch zwei innerhalb des Zeitintervalls 
At 2 nicht ausgelesene Pixelzeilen voneinander getrennt sind. 

10 Das Teilbild 34 ist aus den Pixeln 26 der zweiten, fiinften 

und achten Pixelzeile 30 des Pixelfelds 24 des Bildsensors 6 
zusammengesetzt . Das Teilbild 34 unterscheidet sich somit vom 
Teilbild 32 dadurch, dass die Auslese-Sequenz des zweiten 
Teilbilds 34 um eine Pixelzeile bzgl. der Auslese-Sequenz des 

15 ersten Teilbilds 32 versetzt ist. Die den Pixeln 26 der aus- 
gelesenen Pixelzeilen 30 des zweiten Teilbilds 34 zugeordne- 
ten Werte werden ebenfalls der Auswerteeinheit 10 zugef uhrt . 
Die drei Teilbilder 32, 34, 36 sind so angeordnet, dass sie 
sich nicht uberdecken. 

20 

In einem wiederum spateren Zeitintervall At 3 wird ein drittes 
Teilbild 36 aus dem Pixelfeld 24 des Bildsensors 6 ausgele- 
sen. Das dritte Teilbild 36 ist gegenuber dem zweiten Teil- 
bild 34 wiederum um eine Pixelzeile nach unten verschoben an- 
25 geordnet und ist ansonsten gleich wie die beiden vorhergehend 
ausgelesenen Teilbilder 32 und 34. Auch die aus dem dritten 
Teilbild 36 resultierenden Werte werden der Auswerteeinheit 
10 zur weiteren Auswertung zugef uhrt . 

30 In der Auswerteeinheit 10 wird eine Bildsummierung S durchge- 
ftihrt. Aus dieser Bildsummierung S ergibt sich ein Gesamtbild 
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38, das aus den Teilbildern 32, 34, 36 zusammengesetzt ist. 
Das Gesamtbild 38 deckt alle Pixel 26 des Pixelfelds 24 des 
Bildsensors 6 ab. Durch das Gesamtbild 38 wird der Gegenstand 
28 vollstandig abgebildet. Das Gesamtbild 38 wird innerhalb 
eines vierten Zeitintervalls At 4 auf einem Bildschirm der Vi- 
deoausgabe 20 visuell ausgegeben. Das vierte Zeitintervall 
At 4 ist etwa genauso lang wie die Summe der drei Zeitinter- 
valle Ati bis At 3 . Wahrend das Gesamtbild 38 auf dem Bild- 
schirm angezeigt wird, werden weitere Teilbilder aus dem 
Bildsensor 6 ausgelesen, wobei ein viertes Teilbild in seiner 
Auslese-Sequenz identisch ist wie das erste Teilbild - bis 
auf den Auslesezeitpunkt - und auch das fiinfte Teilbild dem 
zweiten Teilbild 34 entspricht. 

In Figur 3 ist eine Moglichkeit fur einen zeitlichen Ablauf 
des Verfahrens gezeigt. Zu einem ersten Zeitpunkt, der in Fi- 
gur 3 mit 0 ms markiert ist, beginnt die Integration In ei- 
nes ersten Teilbilds Tn. Hierbei werden in den Pixeln 26 des 
Bildsensors 6, die dem ersten Teilbild Tn zugeordnet sind, 
durch Lichteinwirkung erzeugte Ladungen aufsummiert. Dieser 
Vorgang dauert beispielsweise 1 Millisekunde (ms) und endet 
zum Zeitpunkt, der in Figur 3 mit 1 ms gekennzeichnet ist. Zu 
diesem Zeitpunkt wird von der Sensorsteuerung 18 das Auslesen 
An der Pixel 26 gesteuert, die dem ersten Teilbild T u zuge- 
ordnet sind. In dem in Figur 3 gezeigten Ablauf beispiel dau- 
ert auch das Auslesen An 1 ms und endet zu einem Zeitpunkt, 
der 2 ms hinter dem Anfang des Verfahrens liegt und mit 2 ms 
gekennzeichnet ist. Die aus dem Bildsensor 6 ausgelesenen 
Werte werden anschlieSend der Auswerteeinheit 10 zugefiihrt, 
die die Werte wiederum innerhalb eines Zeitintervalls von 1 
ms auswertet und daraus eine Eigenschaft eines betrachteten 
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Gegenstancls ermittelt En. Innerhalb des gleichen Zeitinter- 
valls von 2 ras bis 3 ms werden die ausgelesenen Werte durch 
die Auswerteeinheit 10 gespeichert Su. Ebenfalls gespeichert 
oder an eine Kommunikationseinrichtung 16 oder an ein Gerat 
5 22 oder an eine sonstige Einheit 12 weitergegeben wird auch 
die durch die Ermittlung En errechnete Eigenschaft des Ge- 
genstands 28, beispielsweise seine Position, GroSe oder sein 
Lichtref lexionsverhalten . 

10 Wahrend des gleichen Zeitraums, in dem die dem ersten Teil- 
bild Tn zugeordneten Pixel aus dem Bildsensor 6 ausgelesen 
wurden, werden die einem zweiten Teilbild T i2 zugeordneten 
Pixel auf integriert I12- Das Auf integrieren Ii 2 und das 
gleichzeitig stattf indende Auslesen An muss hierbei nicht 

15 vollkommen synchron stattfinden, wie dies in Figur 3 der Ein- 
fachheit halber dargestellt ist, sondern kann sich auch nur 
teilweise zeitlich iiberdecken. So kann der Aus lesevor gang An 
beispielsweise in einem kiirzeren Zeitintervall erfolgen als 
die Integration Ii 2 . Der dem zweiten Teilbild T 12 zugeordnete 

20 Vorgang des Iritegrierens I12, Auslesens A i2/ Ermittelns Ei 2 ei- 
ner oder mehrerer Eigenschaf ten des Gegenstands sowie das 
Speichern S 12 der ausgelesenen Werte lauft im Wesentlichen 
gleich ab, wie es oben bezuglich des ersten Teilbilds Tn be- 
schrieben ist, wobei die dem zweiten Teilbild T 12 zugeordne- 

25 ten Ablaufe jeweils um 1 ms spater als beim ersten Teilbild 
Tn stattf inden . 

Ebenfalls um 1 ms gegeniiber dem zweiten Teilbild T i2 zeitlich 
nach hinten versetzt werden die Pixel, die einem dritten 
30 Teilbild T i3 zugeordnet sind, integriert Ii 3/ ausgelesen A i3 
und die Werte gespeichert S13 . Wie bei den vorhergehenden 
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Teilbildern T n und T i2 erfolgt auch das Ermitteln E X3 der Ei- 
genschaft oder der Eigenschaf ten des Gegenstands zumindest 
teilweise gleichzeitig wie das Speichern Si 3 der ausgelesenen 
Pixelwerte. Wie aus Figur 3 leicht zu ersehen ist, erfolgen 
5 zu einem beliebigen Zeitintervall die Vorgange der Integrati- 
on In, des Auslesens A^ und des Berechnens bzw. des Ermit- 
telns Eii der Eigenschaft oder der Eigenschaf ten des Gegen- 
stands sowie das Speichern Sa der ausgelesenen Werte gleich- 
zeitig. Der Anschaulichkeit halber sind die Zeitablaufe in 
10 Figur 3 vereinfacht dargestellt, wobei die Gleichzeitigkeit 
nicht vollstandig sein muss. 



Bedingt durch die geringe Pixelanzahl der einzelnen Teilbil- 
der Tn konnen die Zeitintervalle, die in Figur 3 beispiel- 

15 haft mit 1 ms angegeben sind, sehr kurz gehalten werden. Das 
Verfahren ist extrem schnell durchfuhrbar , da die verschiede- 
nen Verf ahrensschritte synchron ausgefiihrt werden. Eine oder 
mehrere Eigenschaf ten des betrachteten Gegenstands konnen so- 
mit in einer sehr schnellen Zeitabfolge hintereinander ermit- 

2 0 telt werden. 



Nachdem der Vorgang des Ermittelns E i3 bzgl. der aus dem 
dritten Teilbild T i3 ermittelten Eigenschaf ten abgeschlossen 
ist, dieser Zeitpunkt ist in Figur 3 mit 5 ms angegeben, wer- 

25 den die aus den Teilbildern Tn ermittelten Werte von der 

Auswerteeinheit 10 an die Videoausgabe 20 weitergegeben. In 
der Videoausgabe 20 werden die den Teilbildern Tn zugeordne- 
ten Werte zu einem Gesamtbild zusammengesetzt und anschlie- 
fiend auf einem Monitor angezeigt Gi. Der Beginn des Anzeigens 

30 Gi des ersten Gesamtbilds ist in Figur 3 beispielhaft bei 6,5 
ms angegeben. 
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Nachdem die Integration I i3 des letzten Teilbilds T i3 , das dem 
ersten Gesamtbild zugeordnet ist, beendet wurde, werden die 
Pixel, die einem nachsten ersten Teilbild T 2 i zugeordnet 
sind, integriert I 2 i . Das nachste erste Teilbild T 2 i kann in 
5 seiner Pixelzusammensetzung identisch sein wie das erste oben 
genannte erste Teilbild Tn . Es ist auch denkbar, dass die 
Pixel zusammensetzungen der Teilbilder T 2 i und Tn voneinander 
abweichen # wie dies beispielhaft in Figur 5 dargestellt ist. 
Ebenso wie mit dem ersten Teilbild Tn wird auch mit dem 

10 nachsten ersten Teilbild T 2i verfahren, wobei die diesem 

Teilbild T 2i zugeordneten Pixel integriert I 2i/ ausgelesen A 2i 
und gespeichert S 2i werden. Zumindest teilweise synchron zum 
Speichern S 2i werden Eigenschaf ten des Gegenstands ermittelt 
E 2i . Das Teilbild T 2 i wird spater in einem zweiten Gesamtbild 

15 durch die Videoausgabe 20 auf einem Bildschirm angezeigt. 

In Figur 4 ist ein Auge 40 in schematischer Art und Weise 
dargestellt. Das Auge 40 weist eine Iris 42 auf/ von der in 
Figur 4 nur der auSere Umfang dargestellt ist. Innerhalb der 

2 0 Iris 42 ist die Pupille 44 ebenfalls nur anhand einer einzel- 
nen Linie dargestellt. Von dem Auge 40 ausgehendes Licht 
fallt so in den Bildsensor 6, dass die in Figur 4 nicht ein- 
zeln dargestellten Pixel des Bildsensors 6 die Iris 42 voll- 
standig und auch das Auge 40 bis auf seine aufiersten Bereiche 

25 vollstandig abbilden. Das gesamte Pixelfeld 46 setzt sich aus 
einer Anzahl von nxn Pixeln 26 zusammen, die in Figur 4 nicht 
einzeln gezeigt sind. 

In Figur 4 ebenfalls dargestellt ist ein Teilbild 48, das aus 
30 sieben Pixelzeilen 48a, 48b, 48c usw. zusammengesetzt ist. 

Die den Pixelzeilen 48a, 48b usw. zugeordneten Werte werden 
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in der Auswerteeinheit 10 ausgewertet, wobei der Grauwertver- 
lauf von einem Pixel zum nachsten in einer Funktion wiederge- 
geben wird. Diese Funktion wird anhand einer Eigenschaf tsvor- 
gabe beispielsweise auf einen Wendepunkt hin untersucht. An 
einem solchen Wendepunkt ist der Unterschied der Grauwerte 
zweier benachbarter Pixel besonders groS. Auf diese Weise 
k6nnen von der Auswerteeinheit 10 Stellen im Auge 40 ermit- 
telt werden, die im Folgenden als Stutzstellen 50b, 50d, 50e 
usw. bezeichnet werden. im in Figur 4 gezeigten Beispiel 
konnte aus der Pixelzeile 48a keine Stiitzstelle ermittelt 
werden, aus der Pixelzeile 48b resultieren zwei Stiitzstellen 
50b und aus der Pixelzeile 48d resultieren vier Stutzstellen 
50d und 52d. Aus diesen Stutzstellen 50b, 50d und 52d wird 
anhand der weiteren Eigenschaf tsvorgabe, dass sowohl die Iris 
42 als auch die Pupille 44 als kreisformig zu betrachten 
sind, der Umriss sowohl der Iris 42 als auch der Pupille 44 
bestimmt. Aus diesen Umrissen wird dann der Mittelpunkt 54 
der Iris 42 bzw. der Pupille 44 berechnet. Auf diese, der An- 
schaulichkeit halber stark vereinfachte Weise wird als Eigen- 
schaf t die Position der Iris 42 anhand des Mittelpunkts 54 
bestimmt. Die ermittelte Position kann von der Auswerteein- 
heit 10 nun an eine Gerat 22 weitergegeben werden, das bei- 
spielsweise einen medizinischen Laser zur Durchfiihrung einer 
Augenoperation steuert. Da zur Berechnung der Position der 
Iris 42 nur relativ wenige Stutzstellen 50b, 50d, 52d und so- 
mit nur wenige Pixelzeilen notig sind, vollzieht sich die Be- 
rechnung des Mittelpunkts 54 bzw. der Position der Iris 42 
sehr schnell. 



Die dem Teilbild 48 zugeordneten Pixelwerte werden in der 
Auswerteeinheit 10 gespeichert und zu einem spateren Zeit- 
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punkt zu einem Gesamtbild zusammengesetzt . Dieses Gesamtbild 
wird von der Auswerteeinheit 10 an die Videoausgabe 20 uber- 
mittelt und dort auf einem Uberwachungsbi Ids chirm fiir einen 
behandelnden Arzt angezeigt. Der behandelnde Arzt sieht somit 
die Iris 42 vollstandig und hoch aufgelSst auf seinem Uberwa- 
chungsbi ldschirm und kann damit die Operation durchfuhren und 
iiberwachen. Die Integration, das Auslesen und das Berechnen 
einer Eigenschaft bzgl . eines Teilbilds 48 dauert jeweils un- 
ter 1 ms. Es werden somit mehr als 1000 Teilbilder pro Sekun- 
de und somit mehr als 1000 Eigenschaf ten bzw. Positionen der 
Iris 42 berechnet. Anhand dieser Positionen kann ein medizi- 
nischer Laser in der Weise gesteuert werden, dass er bei ei- 
ner Bewegung der Iris 42 entweder nachgefuhrt oder erst abge- 
schaltet und dann nachgefuhrt wird. Die einzelnen Vorgange 
erfolgen so schnell, dass sie dem Arzt nicht im Detail ange- 
zeigt werden. Der Arzt sieht nur das hoch aufgeloste voll- 
standige Bild der Iris 42, in dem auch die momentane Position 
des Lasers angezeigt ist. Die Wiederholungsrate der Gesamt- 
bilder betragt 40 Hz. Ein Gesamtbild umfasst jeweils mehr als 
25 Teilbilder. 



Figur 5 stellt in schematischer Weise dar, wie ein Gegenstand 
56 in seiner Bewegung verfolgt wird. Innerhalb eines Pixel- 
felds 58 eines Bildsensors wird ein Gegenstand 56 abgebildet. 
Der Gegenstand 56 fiillt nur einen kleinen Teil des Gesamtpi- 
xelfelds 58 aus. Die Gr6fie des Gegenstands 56 wurde in einer 
Abfolge von Teilbildern ermittelt, wobei dem Gegenstand 56 
ein Gesamtbildfeld 60 zugeordnet wurde. Das Gesamtbildf eld 60 
deckt nur einen kleinen Teil des Pixelfelds 58 des Bildsen- 
sors ab. Ab einem Zeitpunkt t x wird ein erstes Teilbild Ti 
nur innerhalb des Gesamtbildf elds 60 aufgenommen. Das Teil- 
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bild Ti umfasst sechs Pixelzeilen. wie zu Figur 4 beschrie- 
ben, wird die Position des Gegenstands 56 aus den dem Teil- 
bild Ti zugeordneten Werten ermittelt. 

Ab einem zweiten Zeitpunkt t 2 wird wiederum ein Teilbild T 2 
aufgenommen. Zwischen den Teilbildern T x und T 2 konnen weite- 
re Teilbilder aufgenommen worden sein. Aus den Werten, die 
dem Teilbild T 2 zugeordnet sind, wird erneut die Position des 
Gegenstands 56 berechnet . Der Gegenstand 56 befindet sich zum 
Zeitpunkt t 2 in einer anderen Position als zum Zeitpunkt ti 
und ist, wie in Figur 5 dargestellt, ein Stuck weit nach un- 
ten links gewandert . Aus der Wanderung des Gegenstands 56 
wird durch die Auswerteeinheit 10 als weitere Eigenschaft des 
Gegenstands 56 die Bewegungsgeschwindigkeit des Gegenstands 
56 ermittelt. Aus dieser Bewegungsgeschwindigkeit wird er- 
rechnet, wann der Gegenstand 56 an die Grenzen des Gesamt- 
bildfelds 60 stofit. 

Zu einem Zeitpunkt t 3 , der vor diesem errechneten Zeitpunkt 
liegt, wird durch die Auswerteeinheit 10 die Sensors teuerung 
18 in der Weise angesteuert, dass ab dem Zeitpunkt t 3 Teil- 
bilder ausgelesen werden, die in einem neuen Gesamtbildf eld 
62 zu liegen kommen. Die Verschiebung des Gesamtbildf elds 62 
zum Gesamtbildfeld 60 ist an die Bewegungsgeschwindigkeit des 
Gegenstands 56 in der Weise angepasst, dass die durch den 
Bildsensor aufgenommenen Teilbilder den Gegenstand 56 immer 
vollstandig abdecken. Aus einem zum Zeitpunkt t 3 aufgenomme- 
nen und in Figur 5 nicht gezeigten Teilbild wird wiederum die 
Position des Gegenstands 56 ermittelt, wobei die Position des 
Gegenstands 56 nicht der aus der Bewegungsgeschwindigkeit be- 
rechneten Position entspricht. Die GroSe des Gesamtbildf elds 
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62 ist jedoch so gewahlt, dass der Gegenstand 56 bei einer 
Abweichung der Position trotzdem noch von dem Gesamtbildf eld 
62 vollstandig abgedeckt wird. 

Zu einem spateren Zeitpunkt t 4 ist das Gesamtbildf eld 64 be- 
reits mit dem Gegenstand 56 weitergewandert und kommt im We- 
sentlichen am Rand des Pixelfelds 58 des Bildsensors zu lie- 
gen. Durch seine Bewegung droht der Gegenstand 56 aus dem Pi- 
xelfeld 58 zu laufen. Dies wird von der Auswerteeinheit 10 
erkannt, die ein Gerat 22 in der Weise steuert, dass die Po- 
sition des Bildsensors in vorgegebener Weise der Bewegung des 
Gegenstands 56 nachgesteuert wird. Zu den dem Zeitpunkt t 4 
nachfolgenden Zeitpunkten weist das Pixel f eld 66 des Bildsen- 
sors daher eine gegeniiber dem Pixel f eld 58 verschobene Lage 
auf, so dass das Gesamtbildf eld 64 wieder der Bewegung des 
Gegenstands 56 nachgefuhrt werden kann. Die Teilbilder zu den 
in Figur 5 gezeigten Zeitpunkten uberdecken jeweils nur den 
Bereich des jeweiligen Gesamtbildf elds 60, 62, 64. Die Teil- 
bilder sind somit jeweils aus einer Anzahl von nur teilweise 
ausgelesenen Pixelzeilen des Bildsensors zusammengesetzt . Das 
ausgegebene oder zur Weiterverarbeitung weitergeleitete Ge- 
samtbild deckt somit ebenfalls die Flache des jeweiligen Ge- 
samtbildf elds 60, 62, 64 ab. Hierdurch wird einer Oberwa- 
chungsperson oder einer Uberwachungseinheit nur der jeweils 
bzgl. des Gegenstands 56 relevante Bildausschnitt in einem 
Gesamtbild angezeigt. 

In Figur 6 ist die Verfolgung eines Gegenstands 68 gezeigt, 
dessen Form sich im Laufe der Zeit verandert. Wie in Figur 5 
wird aus dem gesamten Pixelfeld 70 eines Bildsensors nur ein 
Ausschnitt in einem Gesamtbildf eld 72 ausgewertet und in ei- 
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nem Gesamtbild ausgegeben. Der Gegenstand 68 wird, wie oben 
beschrieben, anhand einer Abfolge von Teilbildern verfolgt, 
wobei anhand einer Berechungsvorgabe ein Mittelpunkt 74 des 
Gegenstands jeweils ermittelt wird. Dieser als Position des 
Gegenstands 68 zu verstehende Mittelpunkt 74 bildet auch den 
Mittelpunkt des Gesamtbildf elds 72, das somit kontinuierlich 
der langsamen Bewegung des Gegenstands 68 nachgefuhrt wird. 
Zu einem spateren Zeitpunkt befindet sich das Gesamtbildf eld 
72 in der in Figur 6 gestrichelt gezeichneten Position. 
Gleichzeitig befindet sich der Gegenstand 68 ebenfalls in der 
gestrichelten Position. 



In dem Teilbild, das der durchgezogenen Position des Gegen- 
stands 68 zugeordnet ist, wird neben dem Mittelpunkt 74 des 
Gegenstands 68 auch die Form des Gegenstands 68 berechnet. 
Diese Form wird als Eigenschaf tsvorgabe bei der Berechung der 
Form des Gegenstands 68 in einem folgenden Teilbild vorgege- 
ben, wobei eine Abweichung der Form zugelassen wird. Durch 
diese Eigenschaf tsvorgabe kann die Berechung der Form und der 
Position des Gegenstands 68 im Teilbild vereinfacht durchge- 
fuhrt werden, da nur bestimmte Formen und Positionen moglich 
sind. Hierdurch kann die Anzahl der pro Teilbild der auszule- 
senden Pixel gering gehalten werden. Jedes Teilbild kann so- 
mit sehr schnell ausgelesen und die Eigenschaf t kann sehr 
schnell berechnet werden. 



Dadurch, dass bei der Eigenschaf tsvorgabe auch eine Verande- 
rung der Form des Gegenstands 68 zugelassen ist, wird die Ei- 
genschaf tsvorgabe, die von Teilbild zu Teilbild weiterge- 
reicht wird, an die aktuelle Form des Gegenstands 68 ange- 
passt. Es ist auch moglich, die Eigenschaf tsvorgabe nur je- 
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weils nach einer Anzahl von Teilbildern anzupassen. Der Ge- 
genstand 68 kann somit auf sehr effiziente und schnelle Weise 
in seiner Position und Form verfolgt werden . 

5 Die Auswahl der Pixel eines Teilbilds ist an die Form des Ge- 
genstands 68 angepasst. Es ist somit auch moglich, dass ein 
Teilbild nur einen Teil des Gesamtbildf elds abdeckt. Dieses 
Teilbild wird moglicherweise bei einer spateren Zusammenset- 
zung eines Gesamtbilds nicht beriicksichtigt , weil auch ohne 
10 dieses Teilbild geniigend Teilbilder zur Verfugung stehen, urn 
einer Uberwachungsperson ein f limmerf reies Gesamtbild zur 
Verfugung zu stellen. Dieses Teilbild dient somit nur der Ei- 
genschaf tsberechnung . 

15 Eine weitere Anwendungsmoglichkeit des Verfahrens ist in Fi- 
gur 7 dargestellt. Ein Pixelfeld 76 eines Bildsensors wird 
mit einer Abfolge von Teilbildern 78 ausgelesen. Die Teilbil- 
der 7 8 bestehen jeweils aus sechs Pixelzeilen, wobei ein 
nachstf olgendes Teilbild 78 gegemiber dem vorausgehenden 

20 Teilbild 78 um jeweils eine Pixelzeile nach unten verschoben 
ist. Dies ist durch die Pfeile 80 angedeutet. Das Pixelfeld 
76 ist auf eine Tragerplatte ausgerichtet , auf der eine An- 
zahl von biologischen Kulturen 82 aufgebracht ist. Diese Kul- 
turen 82 werden von einem Gerat 84 mit Licht 86 bestrahlt und 

25 wachsen im Laufe der Zeit, was durch die gestrichelten Linien 
angedeutet ist. Die Kulturen 82 sollen hierbei moglichst so 
wachsen, dass sie eine weitgehend runde Form annehmen. 

Die Wachstumsgeschwindigkeit der Kulturen 82, und damit zu-, 
30 sammenhangend die Form der Kulturen, kann durch die Intensi- 
tat des eingestrahlten Lichts 86 beeinflusst werden. Anhand 



WO 2004/049258 ^^pT/EP2003/012612 
^B^^ 28 



der werte aus den einzelnen Teilbildern 78 wird jeweils die 
momentane Form der einzelnen Kulturen 82 ermittelt und in ei- 
ner Auswerteeinheit tiberwacht . Wird in der Auswerteeinheit 
festgestellt, dass sich die Kulturen 82 xiber ein festgelegtes 
Mafi hinaus ungiinstig entwickeln, so wird das Gerat 84 in der 
Weise angesteuert, dass die Intensitat und gegebenenf alls die 
Frequenz des eingestrahlten Lichts verandert wird. Es wird 
hierdurch ein Regelkreis beschritten. Das Wachstum der Kultu- 
ren 82 wird weiterhin beobachtet und die Licht intensitat oder 
-frequenz entsprechend dem Wachstum der Kulturen 82 geregelt. 

Es ist moglich, dass ein Bediener ein zuerst auf das Pixel - 
feld 7 6 ausgerichtetes Gesamtbildf eld auch auf einen speziel- 
len kritischen Bereich 92 richten kann. In Figur 7 ist ein 
solcher Bereich dargestellt, an dem mehrere Kulturen 82 im 
Laufe der Zeit zusammenwachsen. Der Bediener kann das Gesamt- 
bildfeld vom Pixelfeld 76 auf ein neues Gesamtbildf eld 88 re- 
duzieren und diese Stelle gesondert und besonders fein iiber- 
wachen. Es ist hierbei mSglich, die Teilbilder weiterhin das 
gesamte Pixelfeld 76 durchlaufen zu lassen oder neue Teilbil- 
der 90 nur in der Weise aus dem Gesamtpixelf eld 76 des Bild- 
sensors auszuwahlen, dass die Teilbilder 90 nur das Gesamt- 
bildf eld 88 durchlaufen. 

In einer weiteren Ausfuhrungsvariante ist es auch moglich, 
dass ein Bediener zwar immer nur ein dem Pixelfeld 76 ent- 
sprechendes Gesamtbild gezeigt bekommt, eine Auswerteeinheit 
jedoch selbstandig eine Flache auswahlt, in der zusatzliche 
Teilbilder 94 erzeugt werden. In Figur 7 ist zwischen jeder 
Pixelzeile des Teilbilds 78 eine zusatzliche Pixelzeile zwi- 
schengeordnet, die zum Teilbild 94 gehort. Es wird somit zu- 
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satzlich zum Teilbild 78 auch das Teilbild 94 aufgenommen, 
wobei die Aufnahme der Teilbilder 78, 94 gleichzeitig oder 
nacheinander erfolgen kann. Hierdurch wird eine besonders ex- 
akte und besonders schnelle Uberwachung der Kulturen 82 er- 
5 reicht, die sich innerhalb der Flache 92 befinden. Eine 

Steuerung des Gerats 84 und eine entsprechende Bestrahlung 
der Kulturen 82 mit Licht 86 kann auf diese Weise speziell 
auf die kritischen Kulturen 82 innerhalb des Bereichs 92 aus- 
gerichtet werden. Es wird hierdurch eine sehr schnelle und 
10 besonders effiziente Steuerung des Gerats 84 auf einen oder 
mehrere kritische Bereiche 92 erreicht. 



15 
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Anspruche 

1. Verfahren zum Erfassen einer Eigenschaft mindestens ei- 
nes Gegenstands (28, 56, 68,), bei dem 

a. vom Gegenstand (28, 56, 68,) beeinflusste Lichtstrahlung 
einem Bildsensor (6) zugefuhrt wird, 

b. mindestens zwei unterschiedliche aus Pixeln (26) beste- 
hende Teilbilder (32, 34, 36, 48, 78, 90, 94) nacheinan- 
der aus dem Bildsensor (6) ausgelesen (An, A i2 , Ai 3 , A 2 i) 
werden und den Pixeln (26) zugeordnete Werte einer Aus- 
werteeinheit (10) zugefuhrt werden, 

c. aus den Werten, die einem Teilbild (32, 34, 36, 48, 78, 
90, 94, Ti, T 2 ) zugeordnet sind, jeweils die Eigenschaft 
des Gegenstands (28, 56, 68,) ermittelt (En, Ei 2/ E13, E 2 i) 
wird, 

d. die Teilbilder (32, 34, 36, 48, 78, 90, 94, T 2 ) zu ei- 
nem Gesamtbild (38) zusammengesetzt werden, das zur wei- 
teren Verarbeitung ausgegeben wird. 

2. Verfahren nach Anspruch 1, 

dadurch gekennzeichnet, 

dass das Ermitteln (En, Ei 2 , Ei 3/ E 2i ) der Eigenschaf ten aus 
Werten eines Teilbilds (32, 34, 36, 48, 78, 90, 94, Ti, T 2 ) 
und das Auslesen (An, Ai 2 , A i3 , A 2 i) eines folgenden Teilbilds 
(32, 34, 36, 48, 78, 90, 94, T x , T 2 ) zumindest teilweise 
gleichzeitig erfolgt. 
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3 . Verf ahren nach Anspruch 1 oder 2 , 
dadurch gekennzeichnet, 

dass sich die Teilbilder (32, 34, 36, 48, 18, 90, 94, T lf T 2 ) 
nicht uberdecken. 

5 

4. Verf ahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, 

dass die Teilbilder (32, 34, 36, 48, 18, 90, 94, T 1# T 2 ) aus 
mindestens zwei nicht zusammenhangenden Pixelbereichen zusam- 
10 mengesetzt sind. 



5. Verf ahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, 

dass die Teilbilder (32, 34, 36, 48, 78) jeweils aus einer 
15 Anzahl von vollstandig ausgelesenen Pixelzeilen (30, 48a, 
48b, 48c, 48d) des Bildsensors (6) zusammengesetzt werden. 

6. Verf ahren nach einem der Anspruche 1 bis 4, 
dadurch gekennzeichnet, 

20 dass die Teilbilder (90, 94, T lt T 2 ) jeweils aus einer Anzahl 
von nur teilweise ausgelesenen Pixelzeilen des Bildsensors 
(6) zusammengesetzt werden. 



7. Verf ahren nach Anspruch 5 oder 6, 
25 dadurch gekennzeichnet, 

dass die Pixelzeilen (30, 48a, 48b, 48c, 48d) eines Teilbilds 
(32, 34, 36, 48, 78, 90, 94, Ti, T 2 ) jeweils durch eine vor- 
gegebene Anzahl nicht auszulesender Pixelzeilen voneinander 
beabstandet sind. 



30 



WO 2004/049258 ^^pT/EP2003/01 2612 

- 34 - 



8. Verfahren nach einem der Anspriiche 5 bis 7, 
dadurch gekennzeichnet, 

dass die Auslese-Sequenz eines auf ein erstes Teilbild (32, 
48, 78, 90, 94, T Xt T 2 ) abfolgend ausgelesenen zweiten Teil- 
5 bilds (34, 36, 48, 78, 90, 94, T i# T 2 ) urn eine Pixelzeile zum 
ersten Teilbild (32, 48, 78, 90, 94, T lf T 2 ) versetzt wird. 

9. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, 

10 dass die Teilbilder (32, 34, 36, 48, 78, 90, 94, T Xt T 2 ) in 

einer solchen Zeit ausgelesen (An, A i2 , Ai 3 , A 2i ) werden, dass 
mindestens 10 Gesamtbilder (38) pro Sekunde ausgegeben werden 
konnen . 

15 10. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, 

dass ein Teilbild (32, 34, 36, 48, 78, 90, 94, T x , T 2 ) aus 
nur so vielen Pixel (26) besteht, dass das Auslesen (An, A i2 , 
Ai 3 , A 21 ) eines Teilbilds (32, 34, 36, 48, 78, 90, 94, Ti, T 2 ) 
20 land das Ermitteln (En, E 12 , Ei 3 , E 2i ) der Eigenschaft jeweils 
innerhalb von 10 ms erfolgen kann. 

11. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, 

25 dass als Eigenschaft mindestens ein Parameter des Gegenstands 
(28, 56, 68,) aus der Gruppe 

Position, Abmessung, Form, Veranderung der Form, Bewe- 
gungsgeschwindigkei t , Farbe , Helligkei t , Lichtref lexions- 
verhalten des Gegenstands (28, 56, 68,) 

30 ermittelt (En, E i2 , Ei 3 , E 2i ) wird. 
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12. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass die Eigenschaft mit Hilfe einer Eigenschaf tsvorgabe er- 
mittelt (En, E X2 , E i3 , E 2 i) wird. 

5 

13- Verfahren nach Anspruch 12, 

dadurch gekennzeichnet, 

dass die Eigenschaf tsvorgabe aus mindestens einer bereits er- 
mittelten Eigenschaft abgeleitet wird, 

10 

14. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass die Auslese-Sequenz eines Teilbilds (78, 90, 94, T lt T 2 ) 
anhand einer aus einem vorhergehenden Teilbild (78, 90, 94, 
15 Ti, T 2 ) ermittelten (En, E i2 , E 13 , E 2i ) Eigenschaft des Gegen- 
stands (28, 56, 68,) gesteuert wird. 

15. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

2 0 dass mit mindestens einem aus der Eigenschaft des Gegenstands 
(28, 56, 68,) gewonnenen Wert ein Gerat (22) gesteuert wird. 

16. Verfahren nach Anspruch 15, 

dadurch gekennzeichnet, 

2 5 dass ein Gerat (22) aus der Gruppe 

Lasergerat zur operativen Behandlung eines Auges, Ausrich- 
tungsvorrichtung zur Positionierung des Bildsensors (6) 
relativ zur Lage des Gegenstands, Lichteinstrahlungsvor- 
richtung, Vorrichtung zur Steuerung eines elektrischen Pa- 

3 0 rameters, Roboter, 

gesteuert wird. 
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17. Verfahren nach einem der vorhergehenden Ansprtiche, 
dadurch gekennzeichnet, 

dass ein Gerateparameter in Verbindung mit mindestens einem 
aus der Eigenschaft des Gegenstands (28, 56, 68,) gewonnenen 
5 Wert geregelt wird. 

18. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, 

dass die Veranderung der Eigenschaft des Gegenstands (28, 56, 
10 68,) durch eine Abfolge von Gesamtbildern (38) dargestellt 
wird. 



15 
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